W5A. Peer review раздела Results, оценка risk of bias

Автор

Georgy Gelvanovsky

Дата публикации

19 марта 2026 г.

1. Краткое содержание

1.1 Рецензирование раздела Results

Results section в systematic literature review — раздел, в котором вы отчитываетесь, что литература показала в ответ на ваш research question. Перед сдачей или финализацией этот раздел нужно критически оценить — в self-review и в peer review.

При оценке Results сфокусируйтесь на трёх вопросах:

  1. Какова цель Results? Ясен ли ответ на RQ? Включены ли все источники, отобранные в ходе поиска?
  2. Есть ли подразделы? Если да — оправданы ли они? Отражают ли логичное тематическое или структурное деление материала?
  3. В каком порядке идут источники? Согласован ли порядок с заявленной стратегией (chronological, distant-to-close, comparative)?

В peer review полезно сочетать устную обратную связь (общая логика) и письменную (язык и стиль) — так правки получаются полнее.

1.2 Risk of bias

Bias в исследовании — систематическая ошибка или искажение в дизайне, проведении или отчёте, из-за которого выводы могут не соответствовать реальности. В SLR вы не только пересказываете находки каждой статьи, но и оцениваете, насколько им можно доверять.

Risk of bias (ROB) assessment — оценка того, насколько смещения во включённых источниках могут исказить выводы обзора в целом. Для строгого SLR это обязательный компонент.

1.3 Что проверять в ROB-оценке

При оценке каждого включённого источника смотрите на:

  • Sample size: достаточна ли выборка для устойчивых выводов; исследование на 10 участниках уязвимее к случайным колебаниям, чем на 1 000.
  • Population choice: репрезентативна ли выборка для той генеральной совокупности, о которой заявлено в статье; если «глобальные» установки опрошены только среди студентов США — generalizability под вопросом.
  • Method transparency and replicability: достаточно ли описана методология для повторения; невоспроизводимые методы снижают доверие.
  • Intransparent procedure: если ключевые шаги сбора или анализа данных не описаны, валидность результатов оценить нельзя.
  • Conflicts of interest: есть ли основания полагать, что финансирование или аффилиации могли повлиять на результаты.

Вы опираетесь на навыки из Research Review Essay (RRE): та же критическая оценка одной статьи теперь применяется к каждой работе в корпусе.

1.4 Структура ROB-оценки

ROB в SLR обычно состоит из двух частей:

1.4.1 Таблица ROB

Составьте таблицу, в которой по каждому включённому источнику описано выявленное смещение. Если критического bias не найдено — напишите это явно.

Пример формата таблицы ROB:

Source Bias Description
[1] Small sample (n = 12); findings may not generalize
[2] Non-replicable method description; procedure cannot be reproduced
[3] No critical bias identified

Таблица даёт читателю быстрый обзор.

1.4.2 Текст ROB-оценки

После таблицы — краткий абзац, который синтезирует суммарный risk of bias по всем источникам: от уровня отдельных статей к уровню всего обзора.

Пример:

“The risk-of-bias assessment reveals two studies with risk of bias. These biases are associated with insufficient replicability of methods. One study bears no critical risks (Table I).”

Заключительный текст должен:

  • указать, у скольких источников есть bias и какого типа;
  • оценить кумулятивный эффект: подрывает ли bias в отдельных статьях общие выводы обзора;
  • сослаться на таблицу.
1.5 Размещение ROB в работе

ROB обычно ставят в конце Results. Точное место зависит от структуры:

  • Если в Results есть подразделы: ROB — отдельный финальный подраздел (например, «3.4 Risk of Bias Assessment»).
  • Если подразделов нет: финальный абзац в Results, за которым сразу следует таблица.